부스트캠프 AI Tech PyTorch 프로젝트 구조 PyTorch Project Template Overview jupyter notebook 같은 대화식 개발 과정이 초기 단계에서 유리할 수 있다. - 학습과정과 디버깅 등 지속적인 확인이 가능하다. 배포 및 공유 단계에서는 notebook 공유는 좋지 않을 수 있다. - 쉬운 재현의 어려움, 실행순서가 꼬일 수 있다. 개발 용이성 확보와 유지보수 향상을 위한 방법이 필요하다. OOP + 모... 부스트캠프 AI TechPyTorchproject templatePyTorch Monitoring Tool for PyTorch - weight & biases weight & biases 머신러닝 실험을 원활히 지원하기 위한 상용도구이다. 협업, code versioning, 실험 결과 기록 등을 제공한다. MLOps의 대표적인 툴이다. 예시 회원가입 후, 프로젝트 생성하고 진행하면 된다. 위와 같이 성능과 사용한 하이퍼 파라미터를 비교할 수 있다. 기업 단위는 쓰려면 돈 내고 써야한다는데, 쓸 수 있을 때 마음껏 쓰자!... 부스트캠프 AI TechPyTorchweight & biasesPyTorch AI Tech Week 1 보충 학습 (numpy, pandas) 5-1강: Exception / File / Log Handling List의 Index 범위를 넘어갈 때 변환할 수 없는 문자/숫자를 변환할 때 컴퓨터는 text 파일을 처리하기 위해 binary 파일로 변환시킴 (예: pyc 파일) 모든 text 파일도 실제는 binary 파일, ASCII/Unicode 문자열 집합으로 저장되어 사람이 읽을 수 있음 메모장에 저장된 파일, HTML 파일,... 네이버 커넥트부스트캠프 AI Tech네이버 커넥트 AI Tech Day 33 (Advanced Self-supervised Pre-training Models) 9강: Self-supervised Pre-training Models BERT, GPT-3, XLNet, ALBERT, RoERTa, Reformer, T5, ELECTRA... GPT-1 < S >,< E >,$ 등의 다양한 special token을 활용하여 fine-tuning시의 성능을 극대화 한다. BERT Masked Language Model 80%는 [MASK]로 치환된다. ... 네이버 커넥트부스트캠프 AI Tech네이버 커넥트 AI Tech Day 6 (DL 역사, MLP, Matplotlib) 1강: Historical Review 데이터 MSE = \cfrac{1}{N}\sum \limits_{i=1}^{N}\sum \limits_{d=1}^{D}(y_i^{(d)}-\hat{y_i}^{(d)})^2 MSE=N1 i=1∑N d=1∑D (yi(d) −yi ^ (d))2 CE = -\cfrac{1}{N}\sum \limits_{i=1}^{N}\sum \limits_{d=1}^{D}y_... 네이버 커넥트부스트캠프 AI Tech네이버 커넥트 TIL 2021/08/18 #AutoGrad & Optimizer nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad = True 로 지정되어 학습대상이 되는 tensor임 우리가 직접 지정할 일은 잘 없음 backward Layer에 있는 Parameter들의 미분을 수행 Forward의 결과값 (model의 output = 예측치)와 실... 부스트캠프 AI TechTILTIL [Week1] Day3 파이썬 기초 문법II 파이썬 Collections 내부에 처음보는 이름도 있어서 신기했다. 📝 Stack 파이썬에서는 List를 사용하여 Stack을 쓸 수 있다. 📝 Queue 파이썬에서는 List를 사용하여 Queue를 쓸 수 있다. 📝 Tuple ✏️ Why use? 프로그램을 작동하는 동안 변경되지 않는 데이터를 저장할 때 주로 사용한다. 함수의 반환 값 등 사용자의 실수에 의한 에러를 사전에 방지할 수 ... 부스트캠프 AI Tech부스트캠프 AI Tech [부스트캠프 AI Tech][Week02]Day08 - Pandas I / 딥러닝 학습방법 이해하기 pandas 역시 numpy를 기반으로 개발되어 있고 R의 데이터 처리 문법과 유사한 부분이 많기 때문에 생각보다 빠르게 익숙해질 수 있습니다. df[column].apply(lambda x : f(x)) -> 해당 Series의 모든 벡터에 해당 f 함수를 적용하는 방법 활성화 함수는 각 함수가 가지는 특징이 다르기 때문에 데이터와 모델에 따라 다양한 활성화 함수를 시도해보는 것이 좋은 성... 부스트캠프 AI Techpython 기초딥러닝pandaspandas
PyTorch 프로젝트 구조 PyTorch Project Template Overview jupyter notebook 같은 대화식 개발 과정이 초기 단계에서 유리할 수 있다. - 학습과정과 디버깅 등 지속적인 확인이 가능하다. 배포 및 공유 단계에서는 notebook 공유는 좋지 않을 수 있다. - 쉬운 재현의 어려움, 실행순서가 꼬일 수 있다. 개발 용이성 확보와 유지보수 향상을 위한 방법이 필요하다. OOP + 모... 부스트캠프 AI TechPyTorchproject templatePyTorch Monitoring Tool for PyTorch - weight & biases weight & biases 머신러닝 실험을 원활히 지원하기 위한 상용도구이다. 협업, code versioning, 실험 결과 기록 등을 제공한다. MLOps의 대표적인 툴이다. 예시 회원가입 후, 프로젝트 생성하고 진행하면 된다. 위와 같이 성능과 사용한 하이퍼 파라미터를 비교할 수 있다. 기업 단위는 쓰려면 돈 내고 써야한다는데, 쓸 수 있을 때 마음껏 쓰자!... 부스트캠프 AI TechPyTorchweight & biasesPyTorch AI Tech Week 1 보충 학습 (numpy, pandas) 5-1강: Exception / File / Log Handling List의 Index 범위를 넘어갈 때 변환할 수 없는 문자/숫자를 변환할 때 컴퓨터는 text 파일을 처리하기 위해 binary 파일로 변환시킴 (예: pyc 파일) 모든 text 파일도 실제는 binary 파일, ASCII/Unicode 문자열 집합으로 저장되어 사람이 읽을 수 있음 메모장에 저장된 파일, HTML 파일,... 네이버 커넥트부스트캠프 AI Tech네이버 커넥트 AI Tech Day 33 (Advanced Self-supervised Pre-training Models) 9강: Self-supervised Pre-training Models BERT, GPT-3, XLNet, ALBERT, RoERTa, Reformer, T5, ELECTRA... GPT-1 < S >,< E >,$ 등의 다양한 special token을 활용하여 fine-tuning시의 성능을 극대화 한다. BERT Masked Language Model 80%는 [MASK]로 치환된다. ... 네이버 커넥트부스트캠프 AI Tech네이버 커넥트 AI Tech Day 6 (DL 역사, MLP, Matplotlib) 1강: Historical Review 데이터 MSE = \cfrac{1}{N}\sum \limits_{i=1}^{N}\sum \limits_{d=1}^{D}(y_i^{(d)}-\hat{y_i}^{(d)})^2 MSE=N1 i=1∑N d=1∑D (yi(d) −yi ^ (d))2 CE = -\cfrac{1}{N}\sum \limits_{i=1}^{N}\sum \limits_{d=1}^{D}y_... 네이버 커넥트부스트캠프 AI Tech네이버 커넥트 TIL 2021/08/18 #AutoGrad & Optimizer nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad = True 로 지정되어 학습대상이 되는 tensor임 우리가 직접 지정할 일은 잘 없음 backward Layer에 있는 Parameter들의 미분을 수행 Forward의 결과값 (model의 output = 예측치)와 실... 부스트캠프 AI TechTILTIL [Week1] Day3 파이썬 기초 문법II 파이썬 Collections 내부에 처음보는 이름도 있어서 신기했다. 📝 Stack 파이썬에서는 List를 사용하여 Stack을 쓸 수 있다. 📝 Queue 파이썬에서는 List를 사용하여 Queue를 쓸 수 있다. 📝 Tuple ✏️ Why use? 프로그램을 작동하는 동안 변경되지 않는 데이터를 저장할 때 주로 사용한다. 함수의 반환 값 등 사용자의 실수에 의한 에러를 사전에 방지할 수 ... 부스트캠프 AI Tech부스트캠프 AI Tech [부스트캠프 AI Tech][Week02]Day08 - Pandas I / 딥러닝 학습방법 이해하기 pandas 역시 numpy를 기반으로 개발되어 있고 R의 데이터 처리 문법과 유사한 부분이 많기 때문에 생각보다 빠르게 익숙해질 수 있습니다. df[column].apply(lambda x : f(x)) -> 해당 Series의 모든 벡터에 해당 f 함수를 적용하는 방법 활성화 함수는 각 함수가 가지는 특징이 다르기 때문에 데이터와 모델에 따라 다양한 활성화 함수를 시도해보는 것이 좋은 성... 부스트캠프 AI Techpython 기초딥러닝pandaspandas